home *** CD-ROM | disk | FTP | other *** search
/ InfoMagic Internet Tools 1995 April / Internet Tools.iso / infoserv / www / cern / dev / www-talk.9301-9306.Z / www-talk.9301-9306 / text1528.txt < prev    next >
Encoding:
Text File  |  1995-04-24  |  1009 b   |  26 lines
  1. > > I have written a perl script that wanders the WWW collecting URLs, keeping
  2. > > tracking of where it's been and new hosts that it finds.  Eventually,
  3. Darn, I wanted to do that.  So, how "big" is the Web?  Can you figure out
  4. stuff like "width" (distance between documents)?
  5.  
  6. Wouldn't it be better if you could just ask each server for it's
  7. connectivity? Seems like this would make things run a **lot** faster.
  8. Since each server has local access to all the information it could
  9. just find all the HREFs real quick, unique them and report to
  10. someone else.
  11.  
  12. >>>> Dale & TimBL <<<<
  13. This would be a good topic to cover at the workshop.
  14.  
  15. I was shocked to see how few home pages I've visted.  I really need to
  16. get out more often :-)  Then I noticed that they all have the :port
  17. which mans it's not the same.  Marc, when doing annotations and
  18. checking the "visited" list maybe you should ignore :80 on http:
  19. servers?
  20.  
  21. We need to do something anyway.  With annotations you can get really
  22. lost in the Web.
  23.  
  24. --sanders
  25.  
  26.